LLM 面试考点

1. 预训练【和过往bert预训练近似】（学/灌/注入知识）
2. 对齐
   • 微调 SFT (Supervised Fine-tuning)
   • RLHF
     • （PPO、DPO）、RM
       • RLHF完整训练过程是什么？RL过程中涉及到几个模型？显存占用关系和SFT有什么区别？
       • RLHF过程中RM随着训练过程得分越来越高，效果就一定好吗？有没有极端情况？
       • 强化学习：几个要素？PPO的loss function？大模型的loss function？对比PPO和DPO

• p-tuning v1\v2
  • 解释P-tuning 的工作原理，并说明它与传统的 fine-tuning方法的不同之处。
• prefix-tuning
  • 介绍一下Prefix-tuning的思想和应用场景，以及它如何解决一些NLP任务中的挑战
• lora【以及lora的变体（q-lora ， ada-lora）】
  • 介绍一下Lora的原理和存在的问题

• flash-attention1，2
• paged attention【各种对attention计算的优化】

• BLEU
• ROUGE【rouge-L、 rouge-N】

Transformer

• Encoder-Decoder
  • T5
• Encoder
  • BERT
• Decoder
  • GPT-2
  • ChatGLM 1、2、3
  • LLAMA等等

数据并行、流水线并行、3D并行、量化、框架【VLLM、DeepSpeed】、tensorRT llm等

Ray（大模型调度推理框架）
模型压缩、知识蒸馏

比较细节的小点？
Post-norm和pre-norm？
大模型幻觉、遗忘的定义？产生原因？不同原因如何解决j？

如何增加context length 模型训练中节约显存的技巧

向量索引、embedding，top几？
主流的embedding有哪些？（看1-2个）

How?

几大模块

特点